Câu chuyện được thuật lại qua hồi tưởng của Elio Perlman. Dù mốc thời gian cụ thể không được đề cập, câu chuyện có thể bắt đầu vào năm 1987 khi Elio 17 tuổi và đang sống với bố mẹ trong căn biệt thự của họ ở nước Ý. Mỗi mùa hè, gia đình cậu đều mời một sinh viên đã tốt nghiệp đến ở cùng trong vòng sáu tuần để viết sách và phụ giúp bố Elio trong các công việc giấy tờ. Elio ghét truyền thống này, vì cậu phải chia sẻ phòng ngủ của mình với khách.

Khách trọ mùa hè năm đó là Oliver, một sinh viên người Mỹ vô tư và cởi mở—trái ngược với cá tính hướng nội của Elio. Chính Elio đã chọn Oliver, với hy vọng có thể nhanh chóng làm quen với người khách mới bằng cách trở thành hướng dẫn viên cho anh, nhưng đáp lại nỗ lực của Elio là một sự hờ hững. Trong một trận tennis, Oliver nắm lấy vai Elio nhưng cậu sợ hãi rụt người lại. Dù Elio tự mình nhận ra bản thân là người song tính cũng như cậu đã hoàn toàn bị Oliver thu hút—thể hiện ở sự phấn khích của cậu khi biết Oliver cũng là người Do Thái vì thấy đó như là một mối liên kết giữa họ, nhưng Elio e ngại rằng tình cảm của cậu sẽ không được anh đáp lại.

Một ngày nọ, Elio lẻn vào phòng của Oliver, tự thỏa mãn bằng cách mặc quần bơi của Oliver. Sau đó, Elio thổ lộ tình cảm với Oliver, họ hôn nhau trên một gò đất nơi Claude Monet từng ký họa một số bức tranh. Khi Elio đặt tay mình vào đũng quần của Oliver, anh đã đẩy tay cậu ra.

Vài ngày sau đó, hai người trở nên xa cách. Elio qua lại với Marzia, một cô nàng địa phương cùng tuổi, nhưng đồng thời cũng cố gắng hàn gắn với Oliver. Để đáp lại mẩu thư nhỏ cho thấy mong muốn gặp mặt của Elio, Oliver viết rằng sẽ gặp cậu vào lúc nửa đêm. Đêm hôm đó, Elio đến phòng Oliver và hai người có lần làm tình đầu tiên. Elio sau đó cảm thấy tội lỗi và cho rằng cả hai không nên tiếp tục nữa.

Hôm sau, Oliver mặc quần bơi của Elio xuống ăn sáng và sau đó khẩu giao với cậu. Elio nhận ra tình cảm của mình không hề thay đổi và mong muốn tiếp tục mối quan hệ này. Cậu đến thăm Marzia rồi quan hệ tình dục với cô. Chiều hôm đó, Elio nằm một mình tự thỏa mãn rồi xuất tinh vào một quả đào. Lát sau, Oliver vào phòng cậu, ăn trái đào và tiếp tục làm tình với cậu.

Mùa hè dần trôi qua, đã sắp đến lúc Oliver phải quay trở về Mỹ. Oliver và Elio cùng du ngoạn ở Roma trong vòng ba ngày trước khi cả hai chia tay. Khi về nhà, Elio hết sức hụt hẫng khi nhận ra đồ đạc trong phòng ngủ của mình đã được trả về như cũ và mọi dấu vết của Oliver đã không còn. Elio trò chuyện với bố và ông tỏ ra ủng hộ "tình bạn" của con trai và Oliver.

Giáng sinh năm ấy, Oliver quay lại thăm gia đình Elio và thông báo rằng anh sẽ kết hôn vào mùa hè năm tới. Oliver và Elio mất liên lạc với nhau trong nhiều năm sau đó.

15 năm sau, Elio đến Mỹ để gặp Oliver, lúc này đã là một giáo sư. Elio thú nhận rằng tình cảm của cậu dành cho Oliver chưa bao giờ dứt, đồng thời cậu cũng thấy ghen tị với gia đình mới của Oliver nên không sẵn sàng gặp vợ và các con anh. Oliver nói rằng anh đã luôn để mắt đến sự nghiệp của Elio. Anh cho cậu xem tấm bưu thiếp mà hè năm ấy anh lấy từ phòng cậu để làm kỉ niệm và đã gìn giữ nó cho đến tận bây giờ. Khi gặp nhau lần cuối ở một quán rượu, Elio và Oliver suy ngẫm rằng con người ta có thể sống trong một thế giới song song—một là cuộc đời thực và một là ảo mộng mà họ không thể cùng sống vì những tác động từ bên ngoài.

20 năm kể từ mùa hè đầu tiên, Oliver đến thăm Elio ở Ý. Hai người cùng hồi tưởng lại khoảng thời gian ở bên nhau; Elio kể với Oliver rằng sau khi cha cậu mất, cậu đã đem tro của ông rải khắp thế giới. Cuốn tiểu thuyết kết thúc với lời của Elio, rằng nếu Oliver thực sự vẫn còn nhớ tất cả như anh nói, thì hãy "nhìn thẳng vào mắt em, để em ngắm anh, rồi gọi em bằng tên anh."